5 septembre 2018

Le biais de publication : "Publish or perish !"

Fanelli :

  • 2010 : 90% des études sont des résultats positifs.

  • 2011 : augmentation de 22% de la publication des résultats positifs.

  • 2009 : quelle est la proportion de chercheurs ayant des pratiques douteuses ?

Fanelli :

  • 2010 : 90% des études sont des résultats positifs.
  • 2011 : augmentation de 22% de la publication des résultats positifs.
  • 2009 : quelle est la proportion de chercheurs ayant des pratiques douteuses ?
Fabrication/modification Autres pratiques
J'ai pratiqué 1,97% 14,12%
Je connais quelqu'un 33,7% 72%

Le test d'excès de significativité dans Psychological Science entre 2009 et 2012 obtenu par la formule :

\[ puissance^n \] où n est le nombre d'expérimentations

  • 82% (34/44) des études sont problématiques

Le problème de la puissance statistique

\[ PPV = \frac{R (1- \beta)}{R+1-(1-\alpha)-R\beta} \]

Où R représente le ratio entre les études qui font l'hypothèse que le lien existe et celles qui font l'hypothèse contraire.

Un exemple concret

Si la puissance = 0,80, \(\alpha\) = 0,05 et que le ratio R = 1.

PPV = 1 * (1-0.2)/(1+1-(1-0.05)-1*0.20)
cat('PPV =', round(PPV,3))
## PPV = 0.941

Test stat/Réalité Lien Pas de lien
Significatif 80 5
Non significatif 20 95 
PPV = (80)/(80+5) 
cat('PPV =', round(PPV,3))
## PPV = 0.941

Taille d'effet Puissance
Petite 0.12
Moyenne 0.44
Grande 0.73

Test stat/Réalité Lien Pas de lien
Significatif 44 5
Non significatif 56 95 

cat('PPV =', round((44)/(44+5), 3))
## PPV = 0.898

R = 1/13

Test stat/Réalité Lien Pas de lien
Significatif 44 5*13
Non significatif 56 95*13 
PPV = (44)/(44+5*13) 
cat('PPV =', round(PPV,3))
## PPV = 0.404
  • Conclusion : la plupart des études publiées en psychologie sont fausses.

les solutions :

  • S'assurer d'une puissance suffisante (Gervais et al., 2015)

  • La puissance devient acceptable à partir de 0.8 (Cohen, 1988)

  • Une puissance de 0.95 est plus désirable (Lakens, 2013)

  • Changer le seuil de significativité (Benjamen et al., 2018; Johnson, 2013)

Application à une corrélation estimée de 0.30.

  • Explique environ 10% de la variance.

  • A une valeur supérieure à 66% des corrélations publiées (Hemphill, 2003).

Application à une corrélation estimée de 0.30.

  • Explique environ 10% de la variance.
  • A une valeur supérieure à 66% des corrélations publiées (Hemphill, 2003).

Changeons de paradigme : l'approche bayesienne

Les facteurs bayesiens : un rapport entre deux vraisemblances

Supposons un amphi pour lequel on se demande si la parité est respectée. Dans cet amphi, il y a 200 personnes, dont 160 femmes. La probabilité que la parité soit respectée s'obtient par une binomiale

\[ \begin{pmatrix} 200 \\160 \end{pmatrix} 0,5 ^{160} (1-0,5)^{40}\ \]

et vaut

## [1] 1.275816e-18

La probabilité que la parité ne soit pas respectée (le ratio h/f est n'importe quelle autre valeur que 0,5) s'obtient par :

\[\int_{0}^{1} \begin{pmatrix} 200 \\160 \end{pmatrix} p ^{160} (1-p)^{40}\, \mathrm{d}p \] et vaut :

## [1] 0.004975124

Le facteur bayesien est le rapport entre ces deux probabilités.

## 1.275816e-18 / 0.004975124 = 3.899561e+15

et s'interprète de la manière suivante :

(Wagenmakers et al., 2011)

Tester une hypothèse nulle

Appliquer les stat bayesiennes avec JASP

La distribution cauchy vs. la distribution normale

Le prior

  • Il faut spécifier a priori les moyennes ainsi que la probabilité qui y est associée.

  • Une alternative est de fixer le prior sur la taille de l'effet.

  • Il s'agit de r-scale. La valeur par défaut pour le test t est 0.707.

  • Le r-scale correspond à la taille d'effet en valeur absolue que le chercheur estime pouvoir observer dans plus de 50% des situations.

  • Il est raisonnable de fixer le r-scale à la valeur du d de Cohen désiré.

Merci de votre attention